iT邦幫忙

1

(28)Python的基礎介紹和爬蟲

  • 分享至 

  • xImage
  •  

Python網路爬蟲WebCrawler-AJAX,XHR網站技術分析實務(下)

接下是實際程式操作的範例

我們使用medium網站來當作練習
網址:https://medium.com/

如何分辨網頁是使用哪種方式運作

我們使用PTT電影版做對比,可以發現他的標題就在她的網頁原始碼之中
https://ithelp.ithome.com.tw/upload/images/20221016/20152724WjAB0Lddpj.png

但是我們在medium網站中可以發現,它的標題並不再她的網頁原始碼之中
https://ithelp.ithome.com.tw/upload/images/20221016/20152724rE3teka28r.png

所以我們可以發現medium網站是ajax的形式

在網站開發人員工具中點選 XHR 可以發現他傳送的資料
https://ithelp.ithome.com.tw/upload/images/20221016/20152724zq5jNFCm3X.png

我們可以發現這才是資料真正的網址
https://ithelp.ithome.com.tw/upload/images/20221016/20152724VZQrQMpLIw.png

將剛剛得到的網址寫入到我們的程式
https://ithelp.ithome.com.tw/upload/images/20221016/20152724UTOFjbyqee.png

我們也可以取得網頁中所有的標題
https://ithelp.ithome.com.tw/upload/images/20221016/20152724ofFhZhmeFL.png

參考來源:https://www.youtube.com/watch?v=IMOUf4BYTG8&list=PL-g0fdC5RMboYEyt6QS2iLb_1m7QcgfHk&index=21


圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言